Razonamiento latente con flujos normalizadores
NF-CoT: razonamiento latente con flujos normalizadores para código eficiente y preciso. Supera a la cadena de pensamiento tradicional.
#caché kv
¿Necesitan los Transformers tres proyecciones? Estudio de QKV
Descubre cómo compartir proyecciones QKV en Transformers reduce el caché KV hasta 96.9% sin perder calidad, ideal para dispositivos edge.
SparDA: Atención Dispersa Desacoplada para LLM de Contexto Largo
Descubre SparDA, una arquitectura que acelera la inferencia de LLM de contexto largo hasta 5.3x, reduciendo el cuello de botella del caché KV.
Razonamiento eficiente en el borde
Guía para lograr razonamiento eficiente de LLM en dispositivos de borde. Usamos LoRA, ajuste fino y refuerzo para reducir tokens y latencia sin perder precisión.
NetKV: Instancias de decodificación conscientes de red para LLMs desagregados
NetKV reduce hasta un 21.2% el tiempo hasta el primer token en inferencia LLM desagregada, superando schedulers tradicionales sin cambios en hardware.
KVarN: Cuantificación de caché KV con normalización de varianza
Reduce errores en razonamiento con KVarN. Cuantificación KV de 2 bits que optimiza la memoria y mejora el rendimiento en modelos de lenguaje.
VaSE: Evicción de Caché KV Estocástica Consciente del Valor
Descubre VaSE, un método de evicción de caché KV que protege valores grandes y usa estocasticidad para mejorar precisión en modelos de razonamiento. Reduce memoria 4x sin perder rendimiento.
Multi-Segment Attention: Cómo optimizar la caché KV para servidores LLM más rápidos
Descubre cómo AsymCache reduce el tiempo de respuesta de LLM hasta 2x mediante una gestión eficiente de la caché KV con Multi-Segment Attention.
Fast-dLLM++: Perfil Fréchet para Inferencia más Rápida de LLM Difusión
Fast-dLLM++ acelera inferencia de LLM difusivos sin modificar modelo, aprovechando confianza heterogénea para lograr 37% más rendimiento sin perder precisión.
No seas tan Stief: optimización de KV Cache en la variedad de Stiefel
Descubre cómo StiefAttention comprime el caché KV con aproximación de rango bajo en la variedad de Stiefel, mejorando precisión y eficiencia en modelos de lenguaje.
ParisKV: Recuperación de caché KV rápida y robusta ante deriva para LLMs largos
ParisKV: recuperación de caché KV para LLMs largos, hasta 44x más rápido y robusto ante deriva. Optimiza tu inferencia.
Modelos de Lenguaje Esotéricos: LLMs de Difusión de Cualquier Orden
Eso-LMs: modelos de lenguaje que combinan AR y MDM con atención causal y caché KV, permitiendo generación paralela e inferencia eficiente. Nuevo estado del arte.
StreamingVLM: Comprensión en tiempo real para transmisiones de video infinitas
StreamingVLM revoluciona la comprensión de video en tiempo real: procesa flujos infinitos con solo 8 FPS en un H100, superando a GPT-4O mini. ¡Descubre su arquitectura!
Observación, no predicción: scheduling desagregado por conversación
Conoce ConServe: programación por conversación para agentes LLM, reduce latencia 51% y mejora eficiencia energética en servidores IA.
ForesightKV: Evicción óptima de caché KV en modelos de razonamiento
ForesightKV optimiza la evicción de caché KV en modelos de razonamiento, superando métodos previos con la mitad del presupuesto y aprendizaje combinado.
LRAgent: Caché KV Compartido Eficiente para Agentes Multi-LoRA
Descubre cómo LRAgent comparte eficientemente la caché KV entre agentes Multi-LoRA, reduciendo memoria y cómputo sin perder precisión. ¡Optimiza tus LLMs!
Vegas: Decodificación Auto-Especulativa con Atención Dispersa Verificada
Descubre Vegas: acelera LLMs hasta 2.81x usando atención dispersa guiada por verificación. Sin pérdida, código abierto.
WildCat: Atención casi lineal en teoría y práctica
Descubre WildCat, un nuevo método de atención que logra error mínimo en tiempo casi lineal. Ideal para modelos de IA con secuencias largas. ¡Lee más!
Grokers: Comprensión inductiva e inteligencia en escritura sobre grafos tipificados
Descubre Grokers: arquitectura que logra comprensión persistente de grafos tipificados con inteligencia en escritura, eliminando costos de LM en consultas. ¡100% hits en KV-cache!
BudgetDraft: Entrenamiento Multi-Vista para Decodificación Especulativa Dispersa
Descubre BudgetDraft: entrenamiento multi-vista acelera decodificación especulativa con KV disperso hasta 6.55x en contextos de 4K a 16K, optimizando memoria.